Do nằm ở vị trí chiến lược, có trữ lượng guano (hình thành từ phân chim biển, được dùng làm phân bón hay để chế tạo chất nổ) đáng kể và thậm chí là các mỏ kim cương ngoài khơi, các đảo không có người ở này được xem là có giá trị khai thác. Nơi đây được các nhà buôn Âu châu ghé thăm kể từ thế kỷ XVII, chủ yếu là do tài nguyên giá trị guano.[2] Trong khoảng thời gian từ năm 1861 đến năm 1867 quần đảo bị Anh sáp nhập, và sau đó vào năm 1873 là Thuộc địa Cape. Sự nhầm lẫn của quốc tế về chủ quyền của quần đảo khiến cho Thủ tướng John Molteno của Thuộc địa Cape phải tái khẳng định của việc sáp nhập này thông qua Đạo luật Ichaboe và Quần đảo Chim Cánh Cụt (1874).[3]

Việc sáp nhập ban đầu nằm trong kế hoạch thôn tính vùng Tây Nam Phi vào Thuộc địa Cape để quản trị dưới tay người Anh. Việc này được thực hiện thông qua Palgrave Commission (1876).

Tuy nhiên sự can thiệp của Anh dẫn đến sự đỗ vỡ trong quan hệ giữa Đế quốc Anh và chính phủ Cape trong một thời gian dài. Nhân cơ hội này, người Đức đã nhảy vào và biến Tây Nam Phi thành một lãnh thổ bảo hộ của Đức vào năm 1884, sự kiện này nằm trong quá trình lịch sử tranh giành châu Phi. Quần đảo ngoài khơi (và Vịnh Walvis) vẫn nằm ngoài sự kiểm soát của người Đức và đặt dưới sự quản lý của người Anh dưới thể chế Cape constituencies.[4] Thể chế này được người Đức công nhận vào năm 1886. Do đó, mặc dù nằm rất gần đất liền, nhưng quần đảo không thuộc Tây Nam Phi thuộc Đức.[5]

Năm 1990 Tây Nam Phi giành được độc lập và đổi tên thành Namibia. Quần đảo Chim Cánh Cụt vẫn thuộc chủ quyền Nam Phi, và nằm trong Vùng Đặc quyền Kinh tế ngoài khơi Namibia. Sau các cuộc thương lượng, vào nửa đêm ngày 28 tháng 2 năm 1994, chủ quyền quần đảo và Vịnh Walvis, được chuyển giao cho Namibia.[6][7]